AI Papers Daily

#sparse retrieval

3 篇

A Systematic Multi-Domain Evaluation of Document Retrievers

文档检索器的系统性多领域评估：33模型×7数据集

🧭 检索模型评测与选型

University of Konstanz

统一算力预算下离线评测33个检索器，揭示NV-Embed-v2质量高但延迟大、SPLADE-v3低延迟且MS MARCO最强、GritLM指令跟随最优。

📌 工作参考价值（4 点）

• 在电商搜索/推荐召回或 RAG 中，若在线 query 延迟敏感，优先考虑 SPLADE-v3：作为 sparse retriever，其质量接近 top dense 模型，且 MS MARCO 上达到最高分，延迟显著低于 NV-Embed-v2。
• 对需要遵循指令的检索任务（如个性化 query 改写后的召回、多意图搜索），优先评估 GritLM 这类指令跟随 dense retriever；可将其作为指令检索路的候选模型。
• 选型时不要只看单一 benchmark：本论文的多域评估和失败点分析表明不同模型/家族存在互补性，可在工程上采用 sparse+dense 多路召回融合提升鲁棒性。
• 复现论文的 off-the-shelf + 统一 compute budget 实验方式，可作为内部检索模型基线评测流程，避免过度调参导致不可比较。

Eval | 2026-09-24 | cs.IR | score 7/10

document retrievalevaluationdense retrievalsparse retrievalSPLADENV-Embed

PUMA: Post-Hoc Sparsification of Universal Multimodal Embeddings for Efficient Retrieval

通用多模态嵌入的事后稀疏化：PUMA 实现高效检索

🧭 多模态嵌入事后稀疏化与高效检索

Politecnico di Bari, Italy · Sapienza University of Rome, Italy · ISTI–CNR, Pisa, Italy · University of Pisa, Italy

用稀疏自编码器将通用多模态嵌入事后转化为紧凑稀疏码，不重训骨干，存储降 8-16 倍、检索最高加速 25 倍

📌 工作参考价值（4 点）

• 电商多模态检索（如商品图搜、文搜图、组合查询）可直接在现有通用 embedder 之后挂接稀疏自编码器，把 dense FP32 向量压缩为少量非零分量，线上索引存储降低 8-16 倍，大候选池精确打分提速约 25 倍，适合对延迟和内存敏感的召回场景。
• 预训练阶段先让稀疏编码保持 dense 点积几何（重建内积），再针对检索损失微调，这个两阶段 recipe 可以迁移到商品 embedding 压缩：先用自监督对齐 dense 相似度，再用业务正负样本微调稀疏表示，避免直接端到端训练导致语义漂移。
• 注意两个失败模式：pre-TopK 支持不足（稀疏码中没有保留足够多与 query 最相关的维度）和 active support 与检索错位，意味着在业务落地时要监控稀疏化后 TopK 召回与 dense 的覆盖差异，必要时通过增加预 TopK 约束或检索微调时加入 ranking 损失修正。
• 若已有稠密 embedding 模型不想重训，PUMA 提供了一种 post-hoc 压缩路径：冻结 backbone，只训练轻量稀疏编码器，对已有电商图文 embedding 服务可以低成本升级，减少向量数据库存储成本，适合在召回/粗排阶段做候选快速扫描。

Multimodal | 2026-08-26 | cs.IR | score 7/10

sparse retrievalmultimodal embeddingspost-hoc sparsificationefficient retrievalautoencodervector compression

Inference-Free Multimodal Learned Sparse Retrieval for Production-Scale Visual Document Search

面向生产级视觉文档搜索的免推断多模态稀疏检索

🧭 多模态稀疏检索 · 视觉文档搜索 ★ 深度解读

NAVER Corp. · Seoul National University · Naver Labs Europe

提出 caption-gated token supervision 解决视觉稀疏检索的词汇接地问题，使 V-SPLADE 在无神经查询编码下直接索引图文

📌 工作参考价值（4 点）

• 训练技巧可复用：caption-gated token supervision 利用 VLM 生成的 caption 来强化视觉稀疏表示中关键词汇维度的激活，这一思路可直接迁移到电商商品图片搜索，用商品描述或属性文案作为 caption 监督训练视觉-词汇对齐。
• 架构选择务实：采用 ModernVBERT 骨干 + SPLADE 风格的 LM head 投影 + Li-LSR 令牌查找，查询侧完全免去神经网络编码，部署时仅需倒排索引，这个设计组合适合工业界追求低延迟、高吞吐的检索场景。
• 互补性融合策略：稀疏表征与密集检索（如 ColModernVBERT）或 OCR BM25 进行相对分数融合（RSF）后，平均 NDCG@5 可从 60.1 提升至 64.5，电商搜索中可将视觉稀疏检索作为辅助信号低成本融入已有 pipeline。
• 工程实现启示：用训练时 gating 规避推理时的依赖，且文档编码速度比 OCR 和 caption 生成快 20 倍以上，适合大规模语料冷启动，对需要同时索引图文和产品的电商搜索系统有直接参考价值。

RecSys | 2026-05-29 | cs.IR | score 8/10

sparse retrievalvisual document retrievalSPLADEcaption-gated supervisionlexical groundinginference-free